A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models

私たちは、大規模言語モデル（LLM）に基づく新しいゼロショット文書ランキングアプローチ、Setwiseプロンプティングアプローチを提案します。私たちの提案は、LLMベースのゼロショットランキングのための既存のプロンプティングアプローチ（ポイントワイズ、ペアワイズ、リストワイズ）を補完するものです。初めての一貫した実験枠組みにおける比較評価を通じて、モデルサイズ、トークン消費量、レイテンシなどの要因を考慮することで、既存のアプローチは効果と効率の間で本質的にトレードオフがあることを示しました。ポイントワイズアプローチは効率性が高く評価されますが、効果が低いことがわかりました。逆に、ペアワイズアプローチは優れた効果を示しますが、高い計算オーバーヘッドが発生します。一方、私たちのSetwiseアプローチは、以前の方法と比較して、ランキング手順中のLLM推論回数とプロンプトトークン消費量を削減します。これにより、LLMベースのゼロショットランキングの効率が大幅に向上し、同時に高いゼロショットランキングの有効性を維持します。コードと結果は、\url{this https URL}で公開しています。